Từ thời Hoàng đế Lý Thành Tông (1057) tới trước năm 1925, khu đất Tòa khâm sứ Hà Nội tại 42 Nhà Chung là nơi tọa lạc của Chùa Báo Thiên, một ngôi quốc tự (chùa do vua xây), nổi tiếng của Thăng Long.[1] Theo Bùi Thiết trong Tự điển Hà Nội địa danh, chùa Báo Thiên đến cuối thế kỷ 18 đã bị phá hủy và nền chùa cũ trở thành đất họp chợ trước khi chuyển giao cho nhà thờ[2]. Còn theo giáo hội Phật giáo Việt Nam, chùa Báo Thiên vào năm 1883 không hề trong tình trạng vô chủ trước khi bị Tổng đốc Nguyễn Hữu Độ giao cho linh mục Puginier.[3]

Năm 1922, Giáo hoàng Piô XI cử Giám mục Lécroart, Dòng Tên, nguyên Giám mục Giáo phận Thiên Tân (Tientsin), Trung Hoa, làm Khâm sai Tòa Thánh đi quan sát tình hình các giáo phận ở Đông Dương, đặc biệt về cách tổ chức các chủng viện và chương trình học vấn.

Ngày 25 tháng 5 năm 1925, Giáo hoàng Pio XI đã cho lập Tòa Khâm sứ Đông Dương và Thái Lan, và cử Giám mục Constantino Ayuti (1876-1928) làm Khâm sứ tại Đông Dương, chính yếu là tại Việt Nam. Ban đầu, Giám mục Ayuti đặt văn phòng tạm tại Tòa Giáo phận Hà Nội. Nhưng vào lúc bấy giờ, Hà nội mặc dù giữ vị trí quan trọng nhưng không phải là kinh đô, vì vậy, trụ sở Tòa Khâm sứ ở Đông Dương đã được xây cất gần Nhà thờ chính tòa Phủ Cam, Huế, vì nơi đây mới là kinh đô của Việt Nam. Liên tục trong 25 năm sau đó, các Khâm sứ kế vị là Giám mục Columban Dreyer (1928-1937) và Giám mục Antonin Drapier (1937-1950) đều đặt Toà Khâm sứ tại Huế.

Năm 1945, Việt Nam tuyên bố độc lập, Hà Nội trở thành thủ đô của nước Việt Nam. Năm 1950, Giáo hoàng Piô XII đã bổ nhiệm Giám mục John Dooley, người Ireland, làm Khâm sứ tại Đông Dương. Vì lúc đó Huế không còn là thủ đô của Việt Nam nữa, Khâm sứ Dooley đã quyết định dời trụ sở Toà Khâm sứ ra Hà Nội và đặt cạnh Toà Giám mục Hà Nội. Năm 1954, khi Việt Nam tạm bị chia cắt thành hai vùng tập kết quân sự để chuẩn bị Tổng tuyển cử theo Hiệp định Genève 1954, Khâm sứ Dooley vẫn ở lại Tòa Khâm Sứ tại Hà Nội cho đến năm 1959.

Năm 1950, khi Hà Nội đã là thủ đô của Việt Nam, Khâm sứ Dooley chuyển trụ sở ra Hà Nội. Tuy nhiên, Trụ sở Tòa Khâm Sứ Hà Nội Tòa nhà nằm cạnh Toà Giám mục trong khuôn viên đất của Nhà thờ lớn Hà Nội (Nhà thờ Chính Toà của Tổng Giáo phận Hà Nội). Sau Hiệp định Genève 1954, Khâm sứ Dooley vẫn tiếp tục giữ cương vị đại diện của Tòa Thánh tại Hà Năm 1957. Tới tháng 3 năm 1959, Khâm sứ Dooley chấm dứt nhiệm vụ do vấn đề sức khỏe.[1] Linh mục người Ireland Terence O'Driscoll tạm thời lãnh vị trí Khâm sứ trong lúc chờ lệnh từ Vatican. Tuy nhiên ngay sau đó vài tuần, Hà Nội đã trục xuất Cha O'Driscoll và giải tán văn phòng Khâm sứ.[4]